LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards
LongTraceRL：利用搜索代理轨迹与评分量规奖励学习长上下文推理
🧭 长上下文强化学习 · Rubric 奖励 ★ 深度解读
Tsinghua University
通过搜索代理轨迹构建分层干扰项与实体级评分量规奖励，大幅提升长上下文 RL 的训练效果
📌 工作参考价值（4 点）
- 训练数据构造：借鉴搜索代理的打开/引用行为生成高混淆度（打开但未引用）与低混淆度（检索到但未打开）干扰项，比随机采样或单次搜索更贴近真实检索场景，可迁移到电商长文档推荐解释、多跳问答数据增强。
- 过程奖励设计：实体级 Rubric 奖励只施加于最终答案正确的样本（positive-only），有效防止模型通过枚举实体而不做真实推理来刷分。在 Agent 工具调用或多步推理任务中，可对中间关键信息（如商品属性、状态变迁）设计类似逐项检查的奖励，避免 reward hacking。
- 组内归一化：对不同难度的样本，在 rollout 组内归一化 Rubric 分数，使过程信号与难度解耦，让不同任务的奖励尺度可比较，利于通用训练。
- 适中权重：超参 α=0.3 时效果最佳，过大（0.5）会稀释结果奖励；经验上可在多目标 RL 中保持 outcome reward 主导地位。